Javier Pérez de Cuéllar gặp và kết hôn với bà Yvette Roberts khi làm đại sứ Peru tại Paris (bà này qua đời ở Lisbon năm 2013). Trong cuộc hôn nhân đầu tiên, ông có một con trai, (Francisco, sinh tại Paris), và một con gái, Agueda Cristina (sinh tại London).

Trong thời gian công tác ở Cộng hòa Síp, ông kết hôn với người vợ thứ hai, bà Marcela Temple Seminario (qua đời ở Bruxelle, năm 2013). Ông không có thêm con trong cuộc hôn nhân thứ hai này.